INTRODUÇÃO À TRI

PROGRAMAÇÃO TEÓRICA

• O que é Teoria de Resposta ao Item (TRI)
• Diferenças entre TRI e TCT
• Histórico da TRI
• Modelos da TRI
• Curva Característica do Item
• Curva de Informação do Teste
• Fidedignidade dos itens e das pessoas
• Medidas de Ajuste
• Funcionamento Diferencial do Item (DIF)
• Tamanho amostral necessário

LIVROS IMPORTANTES

INTRODUÇÃO À TRI

INTRODUÇÃO À TRI

O QUE É TRI

Refere-se à uma família de modelos matemáticos que buscam explicar a relação entre o nível de habilidade / traço latente (theta, •) e o padrão de resposta aos itens de um determinado teste/escala.

• Probabilidade de acerto ou endosso A TRI foca tanto em estabelecer as propriedades psicométricas dos itens quanto o

nível de traço latente dos indivíduos.

TEORIA CLÁSSICA DOS TESTES

Teoria Clássica dos Testes (TCT) é a primeira tentativa de mensurar

fenômenos psicológicos

• Assume que cada pessoa tem um escore verdadeiro
  • X = *T** + E* Onde:

X** ****=**** ****Escore**** ****observado;**** **T = escore verdadeiro; E = erro aleatório.

• Escore na TCT → Soma dos itens: 5+4+3+3+5 = 20
  • Onde está o erro?

TEORIA CLÁSSICA DOS TESTES

Infinitas repetições tendem a levar o erro a 0;

Galileu (Séc. 17)

• Erros na estimativa do tempo dos movimentos dos astros tendem a zero Erro aleatório tenderia a zero, por não assumir uma tendência positiva ou negativa (Teorema Central do Limite)

• (T = 100; X1 = 102; Xn = 98)

• T = E[X]

T = *X** - E*

Onde: T = escore verdadeiro; X** ****=**** ****Escore ****observado;**** **E = erro aleatório.

Como se obteria o escore verdadeiro?

• Por meio de um instrumento perfeito

• Pela média de um conjunto de infinitas aplicações da mesma variável, no mesmo sujeito, por meio de um instrumento imperfeito

  • Cada aplicação sendo independente (i.e., não influenciando) uma da outra
  • Aplicação infinita e independência das aplicações são dois pressupostos impossíveis de serem acatados.

TEORIA CLÁSSICA DOS TESTES

Desenvolveu-se várias formas de atestar a fidedignidade dos testes

• Formas alternativas da mesma medida
• Teste-reteste
• Correlação entre metades
• Consistência interna
  • Avaliação da precisão no padrão de respostas, não no indivíduo, infinitas vezes, mas num grande número de sujeitos que respondem ao mesmo instrumento

TEORIA CLÁSSICA DOS TESTES

Problemas adicionais:

• Escore ordinal;
• Fidedignidade do teste é equivalente para a amostra inteira;
• Pouca participação das características individuais dos itens;
• Foco da TCT é o teste como um todo e não as particularidades e as influências individuais de cada um dos itens TEORIA CLÁSSICA DOS TESTES

TEORIA DA VARIÁVEL LATENTE

Teoria da Variável Latente (TVL) é um avanço importante, em relação à TCT

Desenvolve algoritmos que une, por meio de uma função de resposta ao

item, as respostas dos sujeitos aos seus níveis de traço latente

• Análise** ****Fatorial**
  • Cada item passa a ter sua importância mais bem explicitada:
• Carga Fatorial
  • Teoria** ****de**** ****Resposta**** ****ao**** ****Item**
    • Amplia ainda mais as avaliações que se fazem dos itens
      • Dificuldade dos itens, discriminação dos itens, acerto ao acaso (chute)

Características e Vantagens da Teoria de Resposta ao Item (Sobre a TCT e a

AF)

• A fidedignidade do teste varia para diferentes grupos de pessoas
  • O erro varia para diferentes sujeitos
• Possibilita a comparação de pessoas que responderam duas versões diferentes do mesmo teste e até mesmo dois testes diferentes
• Fornece uma base sobre como um sujeito vai, provavelmente, responder a um teste, dado o seu nível de traço latente. TEORIA DA VARIÁVEL LATENTE

Algumas perguntas que a TRI responde:

• Para qual grupo de sujeitos os itens do instrumento funcionam melhor ou pior?

• Qual é o item mais fácil e mais difícil do meu teste?

• Qual é o item tem o maior poder de discriminação dos participantes?

• Qual é o item que tem maior probabilidade de ser acertado ao acaso?

• Existem itens que são muito redundantes na mensuração do traço?

• Como está a disposição dos itens ao longo do traço latente? Há lacunas na mensuração?

• O escore do sujeito X é confiável? Ele errou os itens que deveria ou acertou muita coisa ao acaso?

• O padrão de resposta da escala likert está adequado? TEORIA DA VARIÁVEL LATENTE

HISTÓRICO DA TRI

Ampla variedades de contribuições

• Binet e Simon (1916) - Plotaram um Curva Característica do Item, com base na probabilidade de resposta pela idade.

Retrieved from Hambleton (1985)

Lawley (1933, 1934): Começou a desenvolver a estimação de parâmetros da TRI

• Correlações entre os itens eram equivalentes entre si

• Não estimava possibilidade de acerto ao acaso Lord (1952, 1953a, 1953b):

• Primeiro a desenvolver métodos de estimação eficazes, aplicáveis a testes reais de desempenho

  • Discriminação e dificuldade dos itens (2 parâmetros)
  • Formalização da TRI em 1968 (Lord & Novick, 1968) Birnbaum (1957, 1958a, 1958b, 1968):

• Desenvolve a Teoria de Resposta ao Item de 2 e 3-parâmetros logísticos (2 e 3-PL) Rasch (1960)

• Desenvolve o seu modelo, separando a estimativa de dificuldade dos itens do parâmetro de habilidade das pessoas. Foca apenas na dificuldade dos itens. HISTÓRICO DA TRI

Samejima (1969, 1972)

• Amplia a TRI dicotômica para dados politômicos (Graded Response Model) Andrich (1978)

• Amplia o modelo de Rasch para dados politômicos (Rating Scale Model)

• Master (1982)

  • Amplia o modelo de Andrich para casos onde o número de categorias entre os itens varia (Partial Credits Model)
  • Adams, Wilson, e Wang (1997)
    • Desenvolvem modelos de Rasch Multidimensional HISTÓRICO DA TRI

MODELOS DA TRI

1, 2, 3 E 4 PARÂMETROS LOGÍSTICOS

MODELOS DA TRI

A TRI apresenta diferentes modelos:

• 1 parâmetro logístico (1-PL): dificuldade (b)
• 2 parâmetros logísticos (2-PL): dificuldade (b) e discriminação (a)
• 3 parâmetros logísticos (3-PL): dificuldade (b), discriminação (a) e acerto ao caso (c)
• 4 parâmetros logísticos (4-PL): dificuldade (b), discriminação (a) e acerto ao caso (c*); erros aleatórios (d)

1 PARÂMETRO LOGÍSTICO (1-PL)

Modelo mais simples da TRI, que busca investigar a localização do item ao longo de um continuum de dificuldade (*item** location*) e relacionar a sua probabilidade de resposta com o nível de traço latente (theta) do respondente.

• Itens dicotômicos (certo e errado)
• Itens politômicos (escala likert)

Modelo mais simples da TRI, que busca investigar a localização do item ao longo de um continuum de dificuldade (item location) e relacionar a sua probabilidade de resposta com o nível de traço latente (theta) do respondente.

• Parâmetro b (dificuldade)
• Proficiência Matemática
• 7 + 2 = ?
• 27 + 12 = ?
• 27 + (6x2) = ?
• 3x² + 4x + 1 = 30 → x = ?
• Múltipla escolha também é dicotômico (certo e errado)
• 7 + 2 = ?
  • 8
  • 7
  • 9
  • 6
  • 11 1 PARÂMETRO LOGÍSTICO (1-PL)

Raciocínio visuoespacial

1 PARÂMETRO LOGÍSTICO (1-PL)

Escala de Ansiedade Social

• Não me sinto confortável em conversar com pessoas desconhecidas

• Tenho pavor de conversar com pessoas as quais eu não conheço Escala de Depressão

• Às vezes, não tenho ânimo para fazer as minhas obrigações

• Minha vida não tem sentido 1 PARÂMETRO LOGÍSTICO (1-PL)

sujeito

itens

Traço** ****latente:**** **Theta (•)

Dificuldade** ****do**** ****item**** ****(*****item****** ******location*****):**** **Delta ()

1 PARÂMETRO LOGÍSTICO (1-PL)

Curva** característica**** ****do**** ****item (CCI)**

Dificuldade** ****/**** ****localização**** ****do**** item**

Ponto onde a probabilidade do sujeito acertar ou errar o item é 50%

  -

1 PARÂMETRO LOGÍSTICO (1-PL)

0

1

2

3

• 3
• 2
• 1 Dificuldade** ****/**** ****localização**** ****do**** item**

Item 1 →   - • Item 2 →   -  Item 3 →    •

1 PARÂMETRO LOGÍSTICO (1-PL)

0

1

2

3

• 3
• 2
• 1 Dificuldade** ****/**** ****localização**** ****do**** item**

Item 1 →   - • Item 2 →   -  Item 3 →    •

1 PARÂMETRO LOGÍSTICO (1-PL)

Probabilidade do sujeito acertar o item é uma função da distância** ****entre**** ****a**

dificuldade** ****do**** ****item ****e**** ****a**** ****sua**** ****habilidade.**

• Todas as vezes que P(x) < 0.50, as chances são maiores de errar do que de acertar o item.
  • P = 0.23 → 0.77 de errar o item (1-P) 1 PARÂMETRO LOGÍSTICO (1-PL)

Na Análise de Rasch:

p(xj = 1|•, j) = probabilidade da resposta ser 1, para um sujeito com determinado nível de theta e item com determinado nível de dificuldade  )

*e =** *constante log natural (2,7183)

• = nível de theta do sujeito j = nível de dificuldade do item j

1 PARÂMETRO LOGÍSTICO (1-PL)

Em modelos de 1-PL

*e** *: constante log natural (2,7183)

: parâmetro de discriminação fixo entre todos os itens

• No modelo de Rasch, é 1.
• Na TRI 1PL, varia de acordo com cada banco de dados. 1 PARÂMETRO LOGÍSTICO (1-PL)

0

1

2

3

• 3
• 2
• 1 Dificuldade** ****/**** ****localização**** ****do**** item**

Item 1 →   - • Item 2 →   -  Item 3 →    •

1 PARÂMETRO LOGÍSTICO (1-PL)

Fixar o slope em 2 ajustaria o modelo aos dados.

1 PARÂMETRO LOGÍSTICO (1-PL)

Escalas politômicas

Os thresholds são:

• Nível de theta necessário para ter 50% de chance de endossar ambas as categorias 1 PARÂMETRO LOGÍSTICO (1-PL)

Por que a dificuldade do item importa?

• Efeito teto e efeito chão
• Efeito** ****teto:**** **Todo mundo responde alto na escala (itens muito fáceis) Efeito teto

Dificuldade do item

Theta da amostra

1 PARÂMETRO LOGÍSTICO (1-PL)

Por que a dificuldade do item importa?

• Efeito teto e efeito chão
• Efeito** ****chão:**** **Todo mundo responde baixo na escala (itens muito difíceis) Efeito chão

Dificuldade do item

Theta da amostra

1 PARÂMETRO LOGÍSTICO (1-PL)

Implicações práticas da dificuldade do item

• Escalas Clínicas (Ansiedade)
  • Dificuldade de diferenciar pessoas que tem um nível relativamente** ****alto de uma pessoa que tem um nível extremamente**** ****alto**** **de ansiedade. Efeito teto

Dificuldade do item

Theta da amostra

1 PARÂMETRO LOGÍSTICO (1-PL)

Implicações práticas da dificuldade do item

• Escalas Clínicas (Ansiedade)
  • Dificuldade de diferenciar pessoas que tem um nível relativamente** ****alto de uma pessoa que tem um nível extremamente**** ****alto**** **de ansiedade. 1 PARÂMETRO LOGÍSTICO (1-PL)

Calibração da medida

• Estimar os parâmetros adequados dos itens para usos futuros Depende da adequação da amostra ao nível de theta da medida

(de Ayala, 2005)

1 PARÂMETRO LOGÍSTICO (1-PL)

Modelos para dados dicotômicos e politômicos

• Rasch (dicotômico; 1960)
• Rasch (Rating Scale; Andrich, 1978)
• Rasch (Partial Credits; Master, 1982)
• TRI 1-PL (dicotômico; Lord & Novick, 1968)
• TRI 1-PL Samejima (1969; 1972: Graded Response Model; Modelo de Resposta Graduada) 1 PARÂMETRO LOGÍSTICO (1-PL)

2 PARÂMETROS LOGÍSTICOS (2-PL)

Dificuldade (b) e Discriminação (a)

• Discriminação refere-se ao quanto o item é capaz de ‘discriminar’ sujeitos com diferentes níveis de traço latente, no que diz respeito à probabilidade de endosso ao item.

• Curva (slope)

• Quanto mais acentuada for a curva, maior é a discriminação do item Dificuldade = 2; Discriminação = 2.0

Dificuldade = 2; Discriminação = 0.5

Discriminação

Dificuldade = 2; Discriminação = 2.0

Dificuldade = 2; Discriminação = 0.5

2 PARÂMETROS LOGÍSTICOS (2-PL)

1-PL

2-PL

Curvas** ****Características**** ****dos**** ****Itens**** ****(CCIs)**

2 PARÂMETROS LOGÍSTICOS (2-PL)

Fórmula** ****da**** ****TRI**** ****2-****PL**

p(xj = 1|•, j) = probabilidade da resposta ser 1, para um sujeito com determinado nível de theta e o item com determinado nível de dificuldade *j** *)

*e =** *constante log natural (2,7183)

• = nível de theta do sujeito j = nível de dificuldade do item

*j** *= discriminação variante entre o itens (subescrito j)

Fórmula da** ****TRI**** ****1-****PL**

2 PARÂMETROS LOGÍSTICOS (2-PL)

Modelos de 2-PL ainda utilizam a distância entre a dificuldade do item e o nível de habilidade do respondente

• Ponderam’ essa distância pelo poder de discriminação do item; Modelos de 2-PL indicam quais são os itens que melhor diferenciam sujeitos que estão em diferentes pontos do continuum

Pode variar de -ꝏ até + ꝏ (Geralmente, entre +- 3; Baker & Kim, 2017)

0 (nenhuma)

0 > moderada < 0.4

0,4 > moderada < 1

1.0 > alta < 2.1

2.1 > muito alta

2 PARÂMETROS LOGÍSTICOS (2-PL)

Modelos de 2-PL podem auxiliar na estimativa do traço latente dos sujeitos

Itens com maior poder de discriminação tendem a diminuir o erro-padrão da estimativa do theta (de Ayala, 2005)

Itens muito fáceis (todos acertam) ou muito difíceis (todos erram) tendem a ter baixa discriminação

2 PARÂMETROS LOGÍSTICOS (2-PL)

3 PARÂMETROS LOGÍSTICOS (3-PL)

Dificuldade, discriminação e chute (acerto ao acaso; c)

• Exclusivo para testes dicotômicos Indivíduos com habilidade ‘zero’ têm uma chance diferente de ‘zero’ de endossar

qualquer item, apenas por adivinhar aleatoriamente.

Para toda resposta de múltipla escolha, há a chance do sujeito acertar ao acaso

• Probabilidade das respostas devido ao nível de traço latente é mensurado pelos modelos anteriores (1 e 2-PL)
• Chance de acerto ao acaso entra na equação e pondera a estimativa do nível de traço latente ao final

O chute é refletido no intercepto do eixo y (ou seja, probabilidade) da CCI.

3 PARÂMETROS LOGÍSTICOS (3-PL)

Quanto mais alto o valor de c, maior a probabilidade de um sujeito com theta extremamente baixo acertar um item

3 PARÂMETROS LOGÍSTICOS (3-PL)

O calculo de um modelo de 3-PL

  parâmetro c

 = probabilidade de a resposta ser 1 quando o sujeito aproxima-se de -∞

3 PARÂMETROS LOGÍSTICOS (3-PL)

Representação gráfica de 2 itens com  diferentes

 impacta em 

• Quando x aumenta, a efetividade de  diminui

 é fixo, independente do •

3 PARÂMETROS LOGÍSTICOS (3-PL)

Chute / pseudo-chute

• Chute: 1 / número de respostas: → 1/5 = 0.20 (valor teórico)

• Pseudo-chute: Atratividade das opções de resposta aumentam ou diminuem a chance de acerto ao acaso (valor empírico); Muito frequentemente c é menor que a proporção do número de respostas (e.g., 1/5; 1/7)

• Criadores de itens usam equívocos comuns dos respodentes para que eles endossem respostas incorretas, o que diminui a chance de acerto ao acaso. Valor de c pode ser mais alto do que o valor teórico

• A probabilidade da resposta certa é aumentada, por uma questão mal formulada. 3 PARÂMETROS LOGÍSTICOS (3-PL)

Chute / pseudo-chute

• Chute: 1 / número de respostas: → 1/5 = 0.20
• Pseudo-chute: Atratividade das opções de resposta aumentam ou diminuem a chance de acerto ao acaso; Qual das opções abaixo não representa autores importantes da Psicometria no cenário internacional?

Charles Spearman e Karl Pearson

Louis Thurstone e Georg Rasch

Denny Borsboom e David Andrich

Paul Simon e Art Garfunkel

Ronald Hambleton e Bengt Muthén

3 PARÂMETROS LOGÍSTICOS (3-PL)

A estimativa do parâmetro *c** *é influenciado por algumas características da amostra:

• Número elevado de pessoas com nível de habilidade muito baixo
• Itens muito fáceis de serem respondidos
• Itens com poder de discriminação muito baixo 3 PARÂMETROS LOGÍSTICOS (3-PL)

Desenvolvido por Barton e Lord (1981)

Acerto ao acaso Assíntota inferior (c)

Assíntota superior (d)

Dificuldade (b)

Discriminação (a)

4 PARÂMETROS LOGÍSTICOS (4-PL)

O calculo de um modelo de 4-PL

  parâmetro c (acerto ao acaso)

 = parâmetro d (desatenção)

4 PARÂMETROS LOGÍSTICOS (4-PL)

4 PARÂMETROS LOGÍSTICOS (4-PL)

4 PARÂMETROS LOGÍSTICOS (4-PL)

Diferentemente da TCT, na TRI, a qualidade do item não é a mesma para toda amostra

• Itens são mais confiáveis para pessoas com nível de traço latente próximo ao seu parâmetro de dificuldade.

• Importância de ter uma variabilidade nos parâmetros dos itens, para que o teste seja útil para pessoas em uma ampla faixa de traço latente.

• Possibilidade de excluir itens baseados na falta de informação que esses itens trazem na mensuração do construto. 4 PARÂMETROS LOGÍSTICOS (4-PL)

Curva de informação do item (CII) é diretamente derivada da curva característica do item (CCI)

4 PARÂMETROS LOGÍSTICOS (4-PL)

CURVA DE INFORMAÇÃO DO ITEM(CII)

2.2

2.2

Curva de Informação do Item (escala politômica) deriva do padrão de respostas aos thresholds

Retirado de Frey (2018)

CURVA DE INFORMAÇÃO DO ITEM(CII)

CURVA DE INFORMAÇÃO DO ITEM(CII)

CURVA DE INFORMAÇÃO DO TESTE

Soma das CIIs

Indica o quanto o teste como um todo é útil para diferentes níveis de traço latente

A estimativa de precisão na TRI varia na amostra!

0.9

Erro-Padrão

Quanto mais útil é o teste para determinado nível de traço latente, menor é o erro padrão da estimativa dos parâmetros.

Possibilita entender como pode-se melhorar o teste para diferentes níveis de raço latente

CIT é derivado da soma das CII:

• Critério claro para criar novos itens e melhorar a qualidade local da medida

CURVA DE INFORMAÇÃO DO TESTE

Possibilidade de comparar diferentes versões de um teste

Retirado de Frey (2018)

CURVA DE INFORMAÇÃO DO TESTE

FUNCIONAMENTO DIFERENCIAL DO ITEM(DIF)

Funcionamento Diferencial do Item

• Differential Item Functioning (DIF)
• Avalia, em que medida, pessoas com o mesmo nível de traço latente apresentam probabilidade diferente de endossar um determinado item
  • ‘Choro frequente’ em escalas de depressão
  • Todo item com DIF impacta de forma negativa a medida
  • Enviesa a comparação entre grupos

DIF uniforme e não-uniforme

FUNCIONAMENTO DIFERENCIAL DO ITEM(DIF)

Diferença no nível de traço latente e diferença na probabilidade de endosso

• DIF não significa que um grupo tem escore ou theta maior do que o outro FUNCIONAMENTO DIFERENCIAL DO ITEM(DIF)

MEDIDAS DE TAMANHO DE EFEITO EM DIF

Diferentes procedimentos, a depender do modelo de TRI

• Veremos os detalhes na prática

TAMANHO AMOSTRAL NECESSÁRIO

O tamanho amostral necessário para acessar adequadamente os parâmetros dos itens (calibração) depende de várias questões:

Número de parâmetros a serem avaliados (a, b, c)

Tamanho do teste

Método de estimação

Adequação da dificuldade do teste x habilidade da amostra

Quanto mais complexo for o modelo (3-PL), maior tenderá a ser o N necessário para

uma boa calibração dos itens

O tamanho amostral necessário para acessar adequadamente os parâmetros dos itens (calibração) depende de várias questões:

Número de parâmetros a serem avaliados (a, b, c)

Tamanho do teste

Método de estimação

Adequação da dificuldade do teste x habilidade da amostra

Quanto mais complexo for o modelo (3-PL), maior tenderá a ser o N necessário para

uma boa calibração dos itens

TAMANHO AMOSTRAL NECESSÁRIO

TAMANHO AMOSTRAL NECESSÁRIO (1-PL)

Rasch

Retirado https://www.rasch.org/rmt/rmt74m.htm

Rasch (para maior segurança na avaliação dos thresholds)

• Mínimo de 10 participantes por threshold 10 itens (escala likert de 5 pontos) - 40 thresholds → > 400 participantes

20 itens (escala likert de 5 pontos) - 80 thresholds → > 800 participantes

(Linacre, 1999, 2002; Zhu, 2002; Zhu, Updike, & Lewandowski, 1997)

TAMANHO AMOSTRAL NECESSÁRIO (1-PL)

1-PL** ****(dificuldade)**

• 150 participantes aceitável para testes de todos os tamanhos 2-PL** ****(dificuldade**** ****+**** ****discriminação)**

• 750 participantes para 10 itens; 500 para 20 itens; 250 para 30 itens; 3-PL** ****(dificuldade**** ****+**** ****discriminação**** ****+**** ****chute)**

• 750 participantes para 10 e 20 itens; 350 para 30 itens. (Sahin & Anil, 2017)

500 participantes para 30 itens (ótimo); 200 participantes para +15 itens (Aceitável)

(Akour & Al-Omari, 2013)

500 participantes (resultados ótimos para todos os três parâmetros)

(Primi & Nunes, 2005)

TAMANHO AMOSTRAL NECESSÁRIO